Datenanalyse umwelt.info:
Von Rohdaten zu Projekten

github.com/tifa365/mvp_umwelt_info_exploration

Tim Fangmeyer
linkedin/today/author/timfangmeyer

umwelt.info

Stellt die Daten sowohl über die Suche …


… als auch über eine Schnittstelle bereit.

Web-UI vs. API-Zugriff

🌐 Web-Oberfläche (umwelt.info)

  • Intuitives Erkunden und Filtern der Daten
  • ABER: “Händische” Arbeit nötig, nicht automatisierbar

🔌 API-Zugriff

  • Automatisierung möglich (Scripting, regelmäßige Updates)
  • Verarbeitung großer Datenmengen
  • ABER: Technisches Know-how erforderlich

Wir sind hier: Metadaten-Exploration

  1. ✅ Katalog durchsuchen
  2. ✅ Metadaten abrufen
  3. ⬜ Eigentliche Daten herunterladen
  4. ⬜ Daten reinigen, aggregieren, analysieren, visualisieren, etc.

💡 Wichtig: Die folgenden API-Beispiele zeigen nur die Suche und Beschreibung der Daten.

API

Programmierschnittstellen (APIs) ermöglichen Dritten den Zugang zu vorher verschlossenen Datenpools.

Swagger-UI

Interaktive Dokumentation für REST-APIs. Mit Swagger UI können Entwickler die verfügbaren API-Endpunkte direkt im Browser erkunden.
swagger-ui/

Umfang der Schnittstelle


Wichtigste Endpunkte:

  • Volltextsuche über alle Datensätze (+ Filteroptionen)
  • Einzeldatensatz-Abruf detaillierter Metadaten
  • Statistik-Endpunkt für Nutzungsstatistiken

API: Wichtige CKAN-Endpunkte für die Abfrage von umwelt.info

  • /package_search Volltextsuche nach Suchbegriff. Die Wildcard “*” ermöglicht die Abfrage des gesamten Metadatenbestandes
  • /package_show Ermöglicht die Abfrage einzelner Datensätze im CKAN Format. - /counts/now: Aktuelle Gesamtzahl an Datensätzen.
  • /counts/now: Aktuelle Gesamtzahl an Datensätzen.

API Beispiele mit Python

Beispielshafte Abfrage der CKAN-API mit Python.

API Endpoint: /counts/now 📈

import requests

url = "https://md.umwelt.info/counts/now"
response = requests.get(url)
data = response.json()

# Ausgabe der Antwort
print(data)


# Beispiel-Output:
{
    "datasets": 638373,
    "sources": 129,
    "providers": 45,
    "failed_harvests": 0,
    "errors": 900
}

API Endpoint: /package_search


Result

# Beispiel-Output:
{
    "help": "/api/3/action/help_show?name=package_search",
    "success": true,
    "result": {
        "count": 81765,
        "facets": [],
        "search_facets": [],
        "sort": "score desc",
        "results": [
            {
                "id": "**Z292ZGF0YS8xZjM2ZGRhYS0xZGM4LTQ4YWYtOWEyMS1iNmVjZmFlZjExNzk=**",
                "name": "govdata/1f36ddaa-1dc8-48af-9a21-b6ecfaef1179",
                "title": "Grundwasserpegelmessung in Stadt und Landkreis in Osnabrück",
                "private": false,
                "license_url": "https://www.govdata.de/dl-de/by-2-0",
                "license_title": "dl-by-de/2.0"
                ...
            }
        ]
    }
}

API Endpoint: /package_show 📦


Request

import requests

# API-Parameter
base_url = "https://md.umwelt.info/ckan/api/3/action/package_show"
dataset_id = "Z292ZGF0YS8xZjM2ZGRhYS0xZGM4LTQ4YWYtOWEyMS1iNmVjZmFlZjExNzk="
params = {"id": dataset_id}

# API-Abfrage durchführen
response = requests.get(base_url, params=params)
data = response.json()

API Endpoint: /package_show 📦

Result

# Beispiel-Output:
{
    "help": "/api/3/action/help_show?name=package_show",
    "success": true,
    "result": {
        "id": "Z292ZGF0YS8xZjM2ZGRhYS0xZGM4LTQ4YWYtOWEyMS1iNmVjZmFlZjExNzk=",
        "name": "govdata/1f36ddaa-1dc8-48af-9a21-b6ecfaef1179",
        "title": "Grundwasserpegelmessung in Stadt und Landkreis in Osnabrück",
        "private": false,
        "license_url": "https://www.govdata.de/dl-de/by-2-0",
        "license_title": "dl-by-de/2.0",
        "notes": "An mehreren Stellen in Stadt und Landkreis Osnabrück werden Grundwasserpegel automatisiert mithilfe von Sensoren erfasst."
    }
}

Praxisprojekt: Grundwasser-Atlas


Das Journalismuskokllektiv CORRECTIV mit einer interaktiven Karte einen Überblick, wo in Deutschland das Grundwasser seit 1990 sinkt, gleich bleibt oder steigt.

Quelle: CORRECTIV

Interaktive Karte mit Lokalbezug

Quelle: CORRECTIV

Vorgehen beim Grundwasser-Atlas

  • Abruf der der Positionen aller Grundwassermessstellen
  • Abruf der jeweiligen Pegelstände 1990-2021
  • Datenreinigung, Normalisierung, Trendberechnung, Visualisierung

Welche Probleme können bei der Analyse auftreten?

  • Daten nicht vorhanden oder nicht unter Open-Data-Lizenz
  • Messwerte vorhanden, aber die Position der Messstellen nicht (Anonymisierung)
  • Messstellen werden in unterschiedlichen Zeiträumen gemessen

Praxisbeispiel: Abruf Grundwassermessstellen Berlin

  • Praktische Demonstration anhand eines Bundeslandes
  • Suche über das Portal nach den Berliner Grundwasser-Messstellen

Praxisbeispiel: Abruf Grundwassermessstellen Berlin

Grundwassermessstellen als WFS-Daten

Web Feature Services sind Webschnittstellen, die den direkten Zugriff auf raumbezogene Daten ermöglichen.

Quelle: GovData

Abruf der WFS-Daten mit Python

Request

import requests
import json

url = "https://gdi.berlin.de/services/wfs/gwm"
params = {
    'SERVICE': 'WFS',
    'VERSION': '2.0.0',
    'REQUEST': 'GetFeature',
    'TYPENAMES': 'gwm:grundwassermessstellen',
    'OUTPUTFORMAT': 'application/json'
}

response = requests.get(url, params=params)
data = response.json()

print(json.dumps(data, indent=2))

Abruf der WFS-Daten mit Python

Result

{
  "type": "FeatureCollection",
  "features": [
    {
      "type": "Feature",
      "id": "grundwassermessstellen.BL101A0060FIL001",
      "geometry": {
        "type": "Point",
        "coordinates": [
          409227.03,
          5812357.89
        ]
      },
      "geometry_name": "geom",
      ...}
  ]
}

Grundwassermessstellen

mvp.umwelt.info stellt die Daten der Messstellen bereits als Geojson-Datei bereit.

Link: Grundwasser-Analyse

Projekt-Ideen zum Kennenlernen von mvp.umwelt.info

  • Ein weiteres Bundesland auswählen und Grundwasserdaten auf umwelt.info finden
  • Metadatenanalyse der Grundwasser-Messstellen fortführen
  • Wie entwickelt sich der Wasserstand bei Flüssen, Seen, Teichen?

Link: Grundwasser-Analyse

Bonus-Content

Auf den folgenden Folien finden sich einige vertiefende Infos zur Präsentation.

💡 Web-UI vs. API-Zugriff Zusammenfassung


  • Suche: Zum Erkunden und Verstehen der Daten
  • Schnittstelle (API): Für systematische Datenabfragen

CKAN-API: Bereitstellung von Metadaten


CKAN (Comprehensive Knowledge Archive Network) ist eine Open Source-Software zur Katalogisierung und Bereitstellung von Open Data.

Grundwasser-Atlas: Beispiel-Visualisierung

Quelle: CORRECTIV

Grundwasser-Atlas: Beispielhafte Visualisierung mit Python

Grundwassertrends in Deutschland 1990-2021 (Python-Code verfügbar in .qmd)